其他
Android使用ffmpeg解码视频为YUV
在学习了将ffmpeg引入到Android Studio工程中
下面我们来尝试使用ffmpeg使用软解码将一个视频文件解码为yuv文件。
通过解码为YUV数据，我们可以给视频添加一些特定的效果，比如抖音的各种动效等等。
我们通过一张图看一下解码过程，以及需要使用到的ffmpeg的api：
废话少说，直接上菜。
首先编写java的Native方法：
/**
*
* @param videoPath 视频文件路径
* @param YUVoutPath yuv文件输出路径
* @return
*/
public native static int decodeVideo2YUV(String videoPath,String YUVoutPath);
编写JNI代码：
// 头文件
// 因为ffmpeg是纯C代码，要在cpp中使用则需要使用 extern "C"
extern "C" {
#include "libavutil/avutil.h"
#include <libavformat/avformat.h>
}
extern "C"
JNIEXPORT jint JNICALL
Java_com_flyer_ffmpeg_FFmpegUtils_decodeVideo2YUV(JNIEnv *env, jclass clazz, jstring video_path,
jstring yuvout_path) {
const char *inPath = env->GetStringUTFChars(video_path, 0);
const char *outPath = env->GetStringUTFChars(yuvout_path, 0);
AVFormatContext *fmt_ctx;
// 初始化格式化上下文
fmt_ctx = avformat_alloc_context();
// 使用ffmpeg打开文件
int re = avformat_open_input(&fmt_ctx, inPath, nullptr, nullptr);
if (re != 0){
LOGE("打开文件失败：%s",av_err2str(re));
return re;
}
//探测流索引
re = avformat_find_stream_info(fmt_ctx, nullptr);
if(re < 0){
LOGE("索引探测失败：%s",av_err2str(re));
return re;
}
//寻找视频流索引
int v_idx = av_find_best_stream(
fmt_ctx, AVMEDIA_TYPE_VIDEO,-1, -1, nullptr, 0);
if (v_idx == -1){
LOGE("获取视频流索引失败");
return -1;
}
//解码器参数
AVCodecParameters *c_par;
//解码器上下文
AVCodecContext *cc_ctx;
//声明一个解码器
const AVCodec *codec;
c_par = fmt_ctx->streams[v_idx]->codecpar;
//通过id查找解码器
codec = avcodec_find_decoder(c_par->codec_id);
if (!codec){
LOGE("查找解码器失败");
return -2;
}
//用参数c_par实例化编解码器上下文，，并打开编解码器
cc_ctx = avcodec_alloc_context3(codec);
// 关联解码器上下文
re = avcodec_parameters_to_context(cc_ctx, c_par);
if (re < 0){
LOGE("解码器上下文关联失败:%s",av_err2str(re));
return re;
}
//打开解码器
re = avcodec_open2(cc_ctx, codec, nullptr);
if(re != 0){
LOGE("打开解码器失败:%s",av_err2str(re));
return re;
}
//数据包
AVPacket *pkt;
//数据帧
AVFrame *frame;
//初始化
pkt = av_packet_alloc();
frame = av_frame_alloc();
FILE *yuvFile =fopen(outPath,"wb+");//黑皇实体sh_768x432.yuv
while (av_read_frame(fmt_ctx, pkt) >= 0) {//持续读帧
// 只解码视频流
if (pkt->stream_index == v_idx) {
//发送数据包到解码器
avcodec_send_packet(cc_ctx, pkt);
//清理
av_packet_unref(pkt);
//这里为什么要使用一个for循环呢？
// 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的
//一个avcodec_send_packet可能会出发多个avcodec_receive_frame
for(;;)
{
// 接受解码的数据
re = avcodec_receive_frame(cc_ctx,frame);
if(re !=0)
{
break;
} else{
// 数据y
fwrite(frame->data[0],1,cc_ctx->width*cc_ctx->height,yuvFile);
// 数据U
fwrite(frame->data[1],1,cc_ctx->width/2*cc_ctx->height/2,yuvFile);
// 数据V
fwrite(frame->data[2],1,cc_ctx->width/2*cc_ctx->height/2,yuvFile);
}
}
}
}
//关闭文件句柄
fclose(yuvFile);
//关闭环境
avcodec_free_context(&cc_ctx);
// 释放资源
av_frame_free(&frame);
av_packet_free(&pkt);
avformat_free_context(fmt_ctx);
LOGE("解码YUV成功");
return 0;
}
这里就不多解析了，代码中的注释已经写写的很清楚了，配合解码流程图和代码多看几遍相信大家都能看得懂。
解码成功后我们发现YUV视频比原始视频数据大得多，比如笔试解码一个原始大小为16兆的视频，解码成功后的数据大概是1186兆，这就是为什么音视频需要编码的原因，如果不编码，现有的宽度速度根本就无法支撑，存储也会大大浪费空间。
那么解码成功后的数据如何显示呢？能不能正常播放呢？在后面的实践中我们继续探索。
最后如果你对音视频开发感兴趣可扫码关注，笔者在各个知识点学习完毕之后也会使用ffmepg从零开始编写一个多媒体播放器，包括本地播放及网络流播放等等。欢迎关注，后续我们共同探讨，共同进步。